«Базальт СПО» разработала открытое решение, которое позволяет интегрировать в ИТ-инфраструктуру, построенную на ОС Windows, рабочие места и серверы с российскими ОС «Альт». Проект реализован при грантовой поддержке РФРИТ на разработку аналога групповых политик Microsoft AD для платформ «Альт».

В «Базальт СПО» создан инструментарий, который позволяет управлять машинами и учетными записями пользователей в гетерогенной (смешанной) сети. Эти инструменты позволяют администратору применять групповые политики для управления компьютерами с ОС «Альт», введенными в домен Active Directory. Это позволяет постепенно перенести инфраструктуру с Windows-платформ на российские решения.

При грантовой поддержке были разработаны следующие инструменты:

• ADMC (Active Directory Management Console) — модуль удаленного управления базой данных конфигураций групповых политик и объектов домена Active Directory, аналогичный по функциональности оснасткам Microsoft ADUC и GPMC ;
• GPUI (Group Policy User Interface) — модуль настройки и изменения параметров групповых политик для компьютеров с ОС «Альт» и их пользователей, которые могут взаимодействовать с компьютерами под Windows и их пользователями. Этот инструмент реализует функциональность оснастки GPE;
• Gpupdate — консольная утилита применения групповых политик на конкретном компьютере;
• Модуль для фирменного установщика и конфигуратора Alterator, который позволяет ввести компьютер с ОС «Альт» в домен.

Источник изображения: «Базальт СПО»

Новые инструменты входят в состав решения «Альт домен». В компании утверждают, что графический интерфейс инструментов схож с интерфейсом Windows-оснасток, входящих в RSAT (Remote Server Administration Tools). Новые инструменты распространяются на условиях свободного лицензирования. Ранее сообщалось, что «Базальт СПО» был выделен грант ФСИ на доработку библиотеки libdomain.

Компания «Базальт СПО», разработчик российских операционных систем «Альт», сообщила о создании новой экспериментальной сборки платформы Simply Linux, рассчитанной на устройства с архитектурой RISC-V. Утверждается, что это инициативная разработка, опережающая потребности рынка.

Представленная редакция Simply Linux ориентирована на одноплатный компьютер StarFive VisionFive V2, использующий чип StarFive JH7110 с четырьмя 64-битными ядрами RISC-V. Кроме того, доступны сборки ОС для плат HiFive Unmatched и HiFive Unleashed, а также QEMU. Для VisionFive V1 ранее уже были доступны сборки Simply Linux и Ubuntu Linux.

Отмечается, что для мини-компьютера VisionFive V2 выпущены два образа Simply Linux с ядрами slinux-rv-20230422-riscv64.img.xz и slinux-rv-vf2-20230422-riscv64.img.xz. В новом релизе обновлены версии ряда пакетов: openssl 1.1.1, xorg-server 21.1.8, x11vnc 0.9.16, Firefox 112.0.1, Thunderbird 102.10.0, LibreOffice 7.4.2, ca-certificates-digital.gov.ru 1.1, libnss-role 0.5.6 и XFC 4.18.3 E, а также обои рабочего стола и темы интерфейса. Эмулятор терминала по умолчанию — xterm. Вышедшая сборка рассчитана на разработчиков и энтузиастов, развивающих проекты на архитектуре RISC-V.

Источник изображения: StarFive

В дальнейшем работа над обеспечением поддержки RISC-V в ОС семейства «Альт» продолжится. В частности, на компьютерах с VisionFive V2 планируется ускорить декодирование видео, обеспечить устойчивое воспроизведение 3D-графики и работу других IP-блоков SoC, которым пока требуются проприретарные драйверы. Кроме того, будет реализована базовая поддержка VisionFive V2 в основном ядре Linux. Исходный код проекта открыт и размещён в репозитории Sisyphus riscv64, который развивается с 2018 года.

Согласно данным исследования «Круги Громова», в 2023–2024 гг. основным трендом будет развитие российских решений на основе открытого ПО, сервисов миграции с импортных СУБД и появлением новых отечественных игроков. Исследование включает ряд сегментов: базы данных, аналитические БД, продукты для создания хранилищ данных DWH/КХД и озер данных Datalake.

По мнению экспертов, возросла активность российских крупных игроков, которые получили дополнительное финансирование и увеличили интенсивность работ над проектами в сфере СУБД. Это связано с уходом западных вендоров из России и ограничениями на иностранное ПО в критической инфраструктуре (КИИ). Сообщается, что при этом «запас прочности» иностранных систем составляет около трех лет, а миграция на новые СУБД займет от полугода до двух лет.

Источник: АРПП "Отечественный софт"

Также среди трендов на российском рынке СУБД эксперты отмечают тенденцию к объединению и консолидации вендоров. Активизировались новые или малозаметные ранее участники рынка. В целом, для ключевых сценариев применения СУБД уже существуют российские аналоги, удовлетворяющие требованиям корпоративных заказчиков по удобству развертывания, управления, мониторинга, безопасности, масштабируемости и наличию соответствующих сертификатов. Преимущество получили вендоры open source решений или основанных на таком ПО решений.

Российская компания Postgres Professional заняла второе место в мировом рейтинге разработчиков СУБД с открытым кодом PostgreSQL. Лидирует же в этом списке американская EDB (EnterpriseDB), которая и обнародовала статистику.

Отмечается, что в общей сложности в рейтинг вошли 144 компании. После EDB и Postgres Professional следуют Fujitsu, Microsoft и Amazon (AWS). Компании оцениваются по объёму вклада в 15-ю версию PostgreSQL, выпущенную в сентябре 2022 года. Говорится, что для анализа EDB использовала примечания к выпуску, а также список коммиттеров PostgreSQL. Независимые и фриланс-разработчики не учитывались.

Источник изображения: EDB

За 35 лет развития PostgreSQL сообщество получило более 54 тыс. коммитов от более чем 700 контрибьюторов. Postgres Professional является отечественным разработчиком системы управления базами данных Postgres Pro на основе PostgreSQL. СУБД Postgres Pro входит в Единый реестр российского программного обеспечения и предлагается в четырёх вариантах: Postgres Pro Standard, Postgres Pro Enterprise, а также их сертифицированные ФСТЭК-версии. Прошлый год оказался для компании особенно успешным.

«Рейтинг вклада компаний в open source — гамбургский счёт, позволяющий оценить реальный уровень технической экспертизы команды, без шелухи маркетинга и рекламы. В 2022 году Postgres Professional отправила в PostgreSQL больше 100 патчей, 27 сотрудников компании получили за них медали от сообщества. Большинство патчей инициировали сами ребята, которые глубоко вовлечены в процесс и преданы своему делу. Мы стремимся и дальше поддерживать набранный темп», — отметила Postgres Professional.

Поставщик решений для аналитики больших данных и машинного обучения Databricks (США) объявил о выходе Dolly 2.0, модели генеративного искусственного интеллекта (ИИ) следующего поколения с открытым исходным кодом, которая имеет сходные с ChatGPT (OpenAI) возможности.

Dolly 2.0, как и предшественница Dolly, вышедшая пару недель назад, использует меньший набор данных, чем имеется у большинства больших языковых моделей (LLM). Dolly имела 6 млрд параметров, а у Dolly 2.0 их вдвое больше — 12 млрд. Для сравнения, у GPT-3 — 175 млрд параметров. Сообщается, что Dolly 2.0 была построена на высококачественном наборе данных.

Отличительной особенностью новых моделей генеративного ИИ является возможность использовать собственный набор данных обучения для создания связных предложений и ответов на вопросы пользователей. И Dolly 2.0 может делать это, даже несмотря на намного меньший объём исходных данных, чем у моделей OpenAI. Это, в свою очередь, позволяет использовать модель на собственных серверах без необходимости делиться данными со сторонними организациями.

Источник: Databricks

«Мы считаем, что такие модели, как Dolly, помогут демократизировать LLM, превратив их из того, что могут себе позволить очень немногие компании, в товар, которым может владеть каждая компания и который можно настраивать для улучшения своих продуктов», — заявила Databricks. Руководитель Databricks в комментарии изданию SiliconANGLE подчеркнул, что предприятия «могут монетизировать Dolly 2.0».

Источник: Databricks

Databricks предлагает Dolly 2.0 под лицензией Creative Commons, с полностью открытыми исходным кодом и набором данных для обучения databricks-dolly-15k, который содержит 15 тыс. высококачественных пар запросов и ответов, созданных человеком. Всё это можно свободно использовать, изменять и дополнять, а также задействовать в коммерческих проектах, ничего никому не платя. Исследователи и разработчики могут получить доступ к Dolly 2.0 на Hugging Face и GitHub.

Как утверждает Databricks, в настоящее время Dolly 2.0 является единственной моделью, которая не имеет лицензионных ограничений. Другие модели, включая Alpaca, Koala, GPT4All и Vicuna, нельзя использовать в коммерческих целях из-за использования обучающих данных, предоставленных им с определёнными условиями.

Исходный вариант Dolly был обучен на данных Stanford Alpaca с использованием API OpenAI, так что её нельзя было использовать в коммерческих целях, так как в этом случае лицензии запрещают создавать конкурирующие модели. Поэтому Databricks решила создать собственную модель, используя только ответы её сотрудников. Задания для них включали, например, просьбы высказаться на тему «Почему людям нравятся комедии?», обобщить информации из Википедии, написать любовные письма, стихов и даже песни.

Компания Bloomberg объявила о создании фонда FOSS Contributor Fund, предназначенного для финансовой поддержки проектов по разработке программного обеспечения с открытым исходным кодом.

В пресс-релизе отмечено, что Bloomberg исторически поддерживает фонды open source, а также оказывает прямую финансовую поддержку отдельным проектам. Новый фонд FOSS Contributor Fund является дальнейшей реализацией этого направления. Bloomberg будет проводить ежеквартальный отбор проектов для выделения до трёх грантов по $10 000 каждому из победителей.

Источник изображения: Pixabay

По словам Алиссы Райт (Alyssa Wright), занимающейся реализацией программы Bloomberg Open Source Program Office (OSPO), первый отбор производился из пяти проектов. Bloomberg предложила сотрудникам ряда технических отделов выдвинуть претендентов на получение первых грантов и выбрать лучшие из них путём голосования. Первыми поддержку FOSS Contributor Fund получат проекты Apache Arrow, Curl и Celery, которые активно используются самой Bloomberg. По словам Райт, критерии отбора и оценки проектов будут продолжать корректироваться, чтобы можно было более эффективно использовать новый фонд для поддержки важных проектов в долгосрочной перспективе.

Американский производитель ИИ-комплексов Cerebras Systems объявил о выходе 7 больших языковых моделей (LLM) на базе технологии Generative Pre-trained Transformer (GPT) для генеративного ИИ. Это первые публичные LLM, которые прошли обучение с помощью систем CS-2 в суперкластере Cerebras Andromeda на базе фирменных ИИ-чипов Cerebras WSE-2. Другими словами, это одни из первых больших языковых моделей, которые были обучены без использования систем на основе ускорителей, в частности, NVIDIA.

Серия из семи открытых моделей GPT со 111, 256, 590 млн, а также 1,3, 2,7, 6,7 и 13 млрпд параметров соответственно доступны на GitHub и Hugging Face. Обучение таких моделей обычно занимает много месяцев, но Cerebras утверждает, что ей удалось справиться всего за несколько недель благодаря Andromeda. Более того, Cerebas удалось снизить стоимость обучения, а также упростить масштабирование без модификации кода и самой модели, что часто требуется при обучении с использованием кластеров традиционных ускорителей. При этом энергоэффективность всего процесса Cerebras смогла повысить.

Источник изображения: Cerebras Systems

Cerebras отметила, что не только предлагает модели, но и инструкции по их обучению под лицензией Apache 2.0. «Мы считаем, что для того, чтобы LLM были открытой и доступной технологией, важно иметь доступ к современным моделям, которые являются открытыми, воспроизводимыми и бесплатными как для исследовательских, так и для коммерческих приложений», — заявила Cerebras.

Источник изображения: Cerebras Systems

Компания заявила, что это первый случай, когда весь набор моделей GPT, обученных с использованием самых современных методов повышения эффективности, стал общедоступным. Поскольку большие языковые модели Cerebras имеют открытый исходный код, их можно использовать как в исследовательских, так и в коммерческих целях. А предварительно обученную модель можно с минимум затрат дообучить под конкретную задачу на пользовательских данных.

Источник изображения: Cerebras Systems

Cerebras отметила, что быстрый рост генеративного ИИ при лидерстве ChatGPT от OpenAI спровоцировал обострение состязания среди производителей ИИ-оборудования для ИИ, взявшихся за создание более мощных и специализированных чипов. Хотя многие из них обещали создать альтернативу ускорителям NVIDIA, пока никому из них не удалось продемонстрировать способность обучать крупномасштабные модели и желание раскрывать наработки под открытыми лицензиями.

По словам Cerebras, в связи с конкуренцией доступ к ИИ становится все более закрытым. Так, GPT4 была выпущена без детальной информации об архитектуре модели, параметрах, данных, оборудовании и т.д. Компании создают большие модели с использованием закрытых наборов данных и предлагают выходные данные моделей только через доступ к API.

Компания MinIO, специализирующаяся на разработке облачных хранилищ, обвинила конкурирующую Weka в несоблюдении условий лицензий по распространению продуктов open source. Говорится, что Weka выдаёт инновационные технологии MinIO за свои собственные разработки, а пользователям продуктов Weka рекомендуется полностью избавиться от них.

В частности, как утверждается, компания Weka применяет бинарный код MinIO в своих продуктах без указания авторства. Это является нарушением лицензий Apache License v2 и GNU AGPL v3, под которыми распространяется ПО MinIO. Нарушения Weka затрагивают серверные и клиентские компоненты, а также бенчмарк WARP. При этом, как отмечается, Weka заявляет, что её ПО на основе кода MinIO каким-то образом работает быстрее, чем собственно решения MinIO.

Источник: MinIO

Поэтому MinIO отзывает лицензии Weka на все без исключения продукты со скопированным кодом, а также его модификаций — это решение вступает в силу немедленно. «Поскольку Weka не предоставила надлежащей информации в соответствии с лицензиями и использовала торговую марку MinIO, чтобы намеренно ввести своих клиентов в заблуждение, мы реализуем своё право прекратить и отозвать любую лицензию или сублицензию в соответствии с условиями Apache License v2 и GNU AGPL v3», — говорится в сообщении MinIO.

Команда разработчиков «Яндекса» опубликовала исходный код масштабируемой платформы распределённого хранения и обработки больших данных YTsaurus.

YTsaurus разрабатывается компанией с 2010 года и является одним из ключевых элементов внутренней IT-инфраструктуры «Яндекса». В основу платформы положен набор связных подсистем: MapReduce, движок SQL-запросов, планировщик, KV-хранилище данных для OLTP. YTsaurus поддерживает работу с десятками тысяч серверов, обработку эксабайтов данных на разных носителях, а также интеграцию с ClickHouse и Apache Spark. Благодаря широкой функциональности платформа может быть использована для широкого круга задач — от аналитики и построения хранилищ данных до обучения сложных ИИ-моделей с миллиардами параметров.

Сценарии использования YTsaurus

«Платформа YTsaurus отлично зарекомендовала себя в «Яндексе». Теперь мы сделали её доступной и за его пределами. Наибольшую пользу YTsaurus может принести крупным компаниям, которые обрабатывают гигантские объёмы данных на тысячах серверов в условиях постоянно возрастающей нагрузки. Мы уверены, что публикация кода выведет платформу на новый виток развития, как это уже было с другими нашими продуктами», — отмечает «Яндекс».

Исходный код и документация YTsaurus доступны на площадке GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать её под себя может любой желающий.

Сообщество разработчиков ядра Linux отказалось принимать от российской компании «Байкал Электроникс» патчи для ядра. О запрете, как отмечает ресурс Phoronix, сообщил Якуб Кичиньский (Jakub Kicinski), занимающийся поддержкой сетевой подсистемы Linux. «Нам некомфортно принимать патчи от вашей организации или обновления, связанные с произведённым вами оборудованием», — заявил господин Кичиньский в переписке с Сергеем Сёминым, сотрудником «Байкал Электроникс».

Дело в том, что российский разработчик процессоров и SoC с архитектурами MIPS и Arm находится под европейскими и американскими санкциями. В этой связи Якуб Кичиньский посоветовал «Байкал Электроникс» воздержаться от внесения изменений в сетевую подсистему ядра Linux «до дальнейшего уведомления». Отметим, что именно благодаря «Байкал Электроникс» в ядре Linux появилась полноценная поддержка Warrior P5600 — именно это решение лежит в основе чипа «Байкал-Т1».

Источник изображения: «Байкал Электроникс»

Как уточняет Phoronix, отказ принимать патчи последовал после того, как «Байкал Электроникс» предложила ряд исправлений для сетевого драйвера STMMAC. Он предназначен для Ethernet-контроллеров Synopsys, которые используются в решениях российской компании. «Серия исправлений, о которой идёт речь, не относится непосредственно к решениям "Байкал Электроникс", а представляет собой всего лишь исправления для сетевого драйвера Synopsys, используемого несколькими различными аппаратными платформами/организациями», — подчёркивается в публикации.